你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

适用范围：Azure CLI ml 扩展 v2（最新版）Python SDK azure-ai-ml v2（最新版）

在本文中，你将了解如何从部署到 Azure 机器学习托管联机终结点或 Kubernetes 联机终结点的模型中收集生产推理数据。

重要

此功能目前处于公开预览状态。 此预览版在提供时没有附带服务级别协议，不建议将其用于生产工作负荷。 某些功能可能不受支持或者受限。 有关详细信息，请参阅 Microsoft Azure 预览版补充使用条款。

Azure 机器学习数据收集器在 Azure Blob 存储中记录推理数据。 可以为新的或现有的联机终结点部署启用数据收集。

使用所提供的 Python SDK 收集的数据将自动注册为 Azure 机器学习工作区中的数据资产。 此数据资产可用于监控模型。

如果你想要收集部署到实时终结点的 MLFlow 模型的生产推理数据，只需一次切换即可完成。 要了解如何执行此操作，请参阅 MLFlow 模型的数据收集。

在按照本文中的步骤操作之前，请确保满足以下先决条件：

Azure CLI 和 Azure CLI 的 ml 扩展。 有关详细信息，请参阅安装、设置和使用 CLI (v2)。

重要

本文中的 CLI 示例假定你使用的是 Bash（或兼容的）shell。 例如，从 Linux 系统或者适用于 Linux 的 Windows 子系统。

Azure 机器学习工作区。 如果没有，请使用安装、设置和使用 CLI (v2) 中的步骤创建一个。

适用于：Python SDK azure-ai-ml v2（当前版本）

在按照本文中的步骤操作之前，请确保满足以下先决条件：

Azure 机器学习工作区。 如果没有，请使用快速入门：创建工作区资源一文中的步骤创建一个。

若要安装 Python SDK v2，请使用以下命令：

要将 SDK 的现有安装更新到最新版本，请使用以下命令：

有关详细信息，请参阅安装适用于 Azure 机器学习的 Python SDK v2。

拥有可用于部署的已注册模型。 如果你尚未注册模型，请参阅将你的模型注册为机器学习中的资产。

创建 Azure 机器学习联机终结点。 如果你没有现有的联机终结点，请参阅使用联机终结点部署机器学习模型并对其进行评分。

使用自定义日志记录的数据收集允许你在任何数据转换之前、期间和之后直接从记分脚本记录 Pandas DataFrame。 通过自定义日志记录，表格数据将实时记录到工作区 Blob 存储中，模型监控器可以在工作区 Blob 存储中无缝地使用这些数据。

首先，你需要将自定义日志记录代码添加到评分脚本 (score.py)。 对于自定义日志记录，你将需要 azureml-ai-monitoring 包。 有关更多信息，请参阅 数据收集 SDK 的 PyPI 页面。

通过将以下行添加到评分脚本的顶部来导入 azureml-ai-monitoring 包：

在 init() 函数中声明数据收集变量（最多五个）：

注意

如果你对 Collector 对象使用名称 model_inputs 和 model_outputs，模型监控系统将自动识别自动注册的数据资产，这将提供更加无缝的模型监控体验。

默认情况下，如果在数据收集过程中失败，Azure 机器学习会引发异常。 （可选）可以使用 on_error 参数指定在发生日志记录失败时要运行的函数。 例如，在以下代码中使用 on_error 参数，Azure 机器学习将记录错误，而不是抛出异常：

在 run() 函数中，使用 collect() 函数记录评分前后的数据帧。 第一次调用 collect() 返回 context，其中包含稍后关联模型输入和模型输出的信息。

注意

目前，只能使用 collect() API 记录 Pandas DataFrame。 如果数据在传递 collect() 到时不在 DataFrame 中，则不会将其记录到存储中，并将报告错误。

以下代码是使用自定义日志记录 Python SDK 的完整评分脚本 (score.py) 的示例：

在使用更新的评分脚本创建部署之前，你将使用基本图像 mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04 和适当的 Conda 依赖项创建环境，然后使用以下 YAML 中的规范构建环境。

接下来，我们将创建部署 YAML。 包括 data_collector 属性并为 model_inputs 和 model_outputs 启用收集，这是我们之前通过自定义日志 Python SDK 为 Collector 对象指定的名称：

以下代码是用于托管联机终结点部署的综合部署 YAML 的示例。 你应该根据自己的方案来更新部署 YAML。

（可选）可以为 data_collector 调整以下附加参数：

在启用自定义日志记录的情况下部署模型：

有关如何使用 Kubernetes 联机终结点格式化部署 YAML 以进行数据收集（以及默认值）的更多信息，请参阅 CLI (v2) 已启用 Azure ARC 的 Kubernetes 联机部署 YAML 模式。 有关如何格式化部署 YAML 以使用托管联机终结点进行数据收集的详细信息，请参阅 CLI (v2) 托管联机部署 YAML 架构。

Blob 存储输出/格式

默认情况下，收集的数据将存储在工作区 Blob 存储的以下路径中：azureml://datastores/workspaceblobstore/paths/modelDataCollector。 Blob 中的最终路径将附加 {endpoint_name}/{deployment_name}/{collection_name}/{yyyy}/{MM}/{dd}/{HH}/{instance_id}.jsonl。 文件中的每一行都是一个 JSON 对象，表示已记录的单个推理请求/响应。

注意

collection_name 指的是 MDC 数据采集名称（例如，“model_inputs”或“model_outputs”）。 instance_id 是标识记录的数据分组的唯一 ID。

收集的数据将遵循以下 JSON 架构。 可从 data关键值中获得收集的数据，并且系统提供附加元数据。

注意

显示换行符只是为了便于阅读。 在收集的.jsonl 文件中，不会有任何换行符。

如果数据的有效负载大于 256 KB，则 {endpoint_name}/{deployment_name}/request/.../{instance_id}.jsonl 路径中包含的 {instance_id}.jsonl 文件中将有一个事件指向原始文件路径，该文件的路径如下：blob_url/{blob_container}/{blob_path}/{endpoint_name}/{deployment_name}/{rolled_time}/{instance_id}.jsonl。 收集的数据将存在于此路径中。

对于收集的二进制数据，我们直接显示原始文件，并将 instance_id 作为文件名。 根据 rolling_rate，二进制数据放置在与请求源组路径相同的文件夹中。 以下示例反映数据字段中的路径。 格式为 JSON，显示换行符只是为了便于阅读：

要从工作室 UI 查看 Blob 存储中收集的数据，请执行以下操作：

转到 Azure 机器学习工作区中的“数据”选项卡：

导航到“数据存储”并选择你的 workspaceblobstore（默认）：

使用“浏览”菜单查看收集的生产数据：

除了使用提供的 PythonSDK 自定义日志记录外，你还可以直接收集请求和响应 HTTP 有效负载数据，而无需扩展评分脚本 (score.py)。 要启用有效负载日志记录，请在部署 YAML 中使用名称 request 和 response：

在启用有效负载日志记录的情况下部署模型：

注意

使用有效负载日志记录时，不能保证收集的数据为表格格式。 因此，如果你希望在模型监控中使用收集的有效负载数据，则需要提供一个预处理组件来使数据表格化。 如果想要体验无缝模型监控，我们建议你使用自定义日志 Python SDK。

使用部署时，收集的数据将流向工作区 Blob 存储。 以下代码是 HTTP 请求收集的 JSON 的示例：

而以下代码是 HTTP 响应收集的 JSON 的示例：

如果你将 MLFlow 模型部署到 Azure 机器学习联机终结点，则可以通过在工作室 UI 中进行一次切换来启用生产推理数据收集。 如果数据收集已打开，我们将使用自定义日志记录代码自动检测你的评分脚本，以确保将生产数据记录到你的工作区 Blob 存储中。 然后，模型监控器便可以使用这些数据来监控生产中 MLFlow 模型的性能。

要在部署模型时启用生产数据收集，请在“部署”选项卡下面为“数据收集(预览版)”选择“已启用”。

启用数据收集后，生产推理数据将记录到你的 Azure 机器学习工作区 Blob 存储中，并将创建两个数据资产，名称分别为 --model_inputs 和 --model_outputs。 当你的部署在生产中使用时，这些数据资产将实时更新。 然后，模型监控器可以使用数据资产来监控生产中模型的性能。

要了解如何使用收集的生产推理数据监视模型的性能，请参阅以下文章：